本文重新讨论了一个非常简单但非常有效的计算范式，深度共同学习（DML）。我们观察到，有效性与其出色的概括质量高度相关。在本文中，我们从新的角度来解释了DML的性能改善，即这大约是贝叶斯后的采样程序。这也为应用R \'{e} nyi Divergence改善原始DML的基础建立了基础，因为它带来了先验的差异控制（在DML的上下文中）。因此，我们提出了r \'{e} nyi Divergence深度共同学习（RDML）。我们的经验结果代表了DML和\ renyi {}差异的婚姻的优势。R \'{E} nyi Divergence施加的灵活控制能够进一步改进DML，以学习更好的广义模型。

This paper presents a pre-training technique called query-as-context that uses query prediction to improve dense retrieval. Previous research has applied query prediction to document expansion in order to alleviate the problem of lexical mismatch in sparse retrieval. However, query prediction has not yet been studied in the context of dense retrieval. Query-as-context pre-training assumes that the predicted query is a special context for the document and uses contrastive learning or contextual masked auto-encoding learning to compress the document and query into dense vectors. The technique is evaluated on large-scale passage retrieval benchmarks and shows considerable improvements compared to existing strong baselines such as coCondenser and CoT-MAE, demonstrating its effectiveness. Our code will be available at https://github.com/caskcsg/ir/tree/main/cotmae-qc .

We present a high-fidelity 3D generative adversarial network (GAN) inversion framework that can synthesize photo-realistic novel views while preserving specific details of the input image. High-fidelity 3D GAN inversion is inherently challenging due to the geometry-texture trade-off in 3D inversion, where overfitting to a single view input image often damages the estimated geometry during the latent optimization. To solve this challenge, we propose a novel pipeline that builds on the pseudo-multi-view estimation with visibility analysis. We keep the original textures for the visible parts and utilize generative priors for the occluded parts. Extensive experiments show that our approach achieves advantageous reconstruction and novel view synthesis quality over state-of-the-art methods, even for images with out-of-distribution textures. The proposed pipeline also enables image attribute editing with the inverted latent code and 3D-aware texture modification. Our approach enables high-fidelity 3D rendering from a single image, which is promising for various applications of AI-generated 3D content.

We propose LiDAL, a novel active learning method for 3D LiDAR semantic segmentation by exploiting inter-frame uncertainty among LiDAR frames. Our core idea is that a well-trained model should generate robust results irrespective of viewpoints for scene scanning and thus the inconsistencies in model predictions across frames provide a very reliable measure of uncertainty for active sample selection. To implement this uncertainty measure, we introduce new inter-frame divergence and entropy formulations, which serve as the metrics for active selection. Moreover, we demonstrate additional performance gains by predicting and incorporating pseudo-labels, which are also selected using the proposed inter-frame uncertainty measure. Experimental results validate the effectiveness of LiDAL: we achieve 95% of the performance of fully supervised learning with less than 5% of annotations on the SemanticKITTI and nuScenes datasets, outperforming state-of-the-art active learning methods. Code release: https://github.com/hzykent/LiDAL.

尽管图形神经网络（GNNS）已成功地用于节点分类任务并在图中链接预测任务，但学习图级表示仍然是一个挑战。对于图级表示，重要的是要学习相邻节点的表示形式，即聚合和图形结构信息。为此目标开发了许多图形合并方法。但是，大多数现有的合并方法都使用K-HOP社区，而无需考虑图中的明确结构信息。在本文中，我们提出了使用先前的图形结构来克服限制的结构原型指导池（SPGP）。 SPGP将图形结构制定为可学习的原型向量，并计算节点和原型矢量之间的亲和力。这导致了一种新颖的节点评分方案，该方案在封装图形的有用结构的同时优先考虑信息性节点。我们的实验结果表明，SPGP的精度和可扩展性都优于图形分类基准数据集上的最先进的图形合并方法。

深度强化学习在基于激光的碰撞避免有效的情况下取得了巨大的成功，因为激光器可以感觉到准确的深度信息而无需太多冗余数据，这可以在算法从模拟环境迁移到现实世界时保持算法的稳健性。但是，高成本激光设备不仅很难为大型机器人部署，而且还表现出对复杂障碍的鲁棒性，包括不规则的障碍，例如桌子，桌子，椅子和架子，以及复杂的地面和特殊材料。在本文中，我们提出了一个新型的基于单眼相机的复杂障碍避免框架。特别是，我们创新地将捕获的RGB图像转换为伪激光测量，以进行有效的深度强化学习。与在一定高度捕获的传统激光测量相比，仅包含距离附近障碍的一维距离信息，我们提议的伪激光测量融合了捕获的RGB图像的深度和语义信息，这使我们的方法有效地有效障碍。我们还设计了一个功能提取引导模块，以加重输入伪激光测量，并且代理对当前状态具有更合理的关注，这有利于提高障碍避免政策的准确性和效率。

密集的段落检索旨在根据查询和段落的密集表示（即矢量）从大型语料库中检索查询的相关段落。最近的研究探索了改善预训练的语言模型，以提高密集的检索性能。本文提出了COT-MAE（上下文掩盖自动编码器），这是一种简单而有效的生成性预训练方法，可用于密集通道检索。 COT-MAE采用了不对称的编码器架构，该体系结构学会通过自我监督和上下文监督的掩盖自动编码来将句子语义压缩到密集的矢量中。精确，自我监督的掩盖自动编码学会学会为文本跨度内的令牌的语义建模，并学习上下文监督的蒙版自动编码学学习以建模文本跨度之间的语义相关性。我们对大规模通道检索基准进行实验，并显示出对强基础的大量改进，证明了COT-MAE的效率很高。

通常对视觉动作识别的机器学习模型进行了对与某些对象相关联的特定情况的数据训练和测试。这是一个悬而未决的问题，训练集中的行动对象关联如何影响模型超出受过训练情况的能力。我们着手确定培训数据的属性，这些训练数据可导致具有更大泛化能力的行动识别模型。为此，我们从一种称为跨态学习的认知机制中汲取灵感，该机制指出，人类学习者通过在不同情况下观察相同概念的实例来提取概念的含义。我们对各种类型的动作对象关联进行受控实验，并在训练数据中识别动作对象共发生的关键特性，从而导致更好的分类器。鉴于数据集中缺少这些属性，这些属性通常用于培训计算机视觉文献中的动作分类器，因此我们的工作提供了有关如何最好地构建数据集以有效培训以进行更好概括的有用见解。

在最新的联合学习研究（FL）的研究中，广泛采用了客户选择方案来处理沟通效率的问题。但是，从随机选择的非代表性子集汇总的模型更新的较大差异直接减慢了FL收敛性。我们提出了一种新型的基于聚类的客户选择方案，以通过降低方差加速FL收敛。简单而有效的方案旨在改善聚类效果并控制效果波动，因此，以采样的一定代表性生成客户子集。从理论上讲，我们证明了降低方差方案的改进。由于差异的差异，我们还提供了提出方法的更严格的收敛保证。实验结果证实了与替代方案相比，我们计划的效率超出了效率。

理论思想和实证研究向我们展示了一个看似令人惊讶的结果：孩子，甚至很年轻的孩子，都以与正式研究中的科学推理非常相似的方式展示学习和思考。遇到一种新现象，儿童对数据提出假设，从观察进行因果推断，通过实验检验其理论，并纠正是否出现不一致的命题。此类过程的回合一直持续到发现基本机制为止。建立可以像人一样学习和思考的机器，我们要问的一个自然的问题是：我们今天实现的智能是否设法执行这样的科学思维过程，以及在什么水平上进行的。在这项工作中，我们设计了EST环境，以评估人造药物中的科学思维能力。在因果发现的研究流中，我们基于爆炸检测来构建我们的交互式EST环境。具体而言，在EST的每个情节中，都会呈现一个新颖的观察结果，并要求找出所有对象的衰落。在每个时间步骤中，代理都提出了新的实验来验证其假设并更新其当前信念。通过在此任务的象征和视觉版本上评估强化学习（RL）代理，我们注意到当今学习方法的明显失败在达到与人类相当的智力水平方面。科学思维中学习的这种效率低下，需要在建立人类智能方面进行未来的研究。